Ông sinh ngày 10 tháng 3 năm 1908 tại thôn Song Khê, xã Chí Minh, huyện Yên Dũng, phủ Lạng Giang (nay là xã Song Khê, thành phố Bắc Giang), tỉnh Bắc Giang). Thân phụ ông là cụ đồ Ninh Văn Khanh, anh ruột ông là Ninh Văn Lượng, đều là những thành viên đầu tiên của Việt Nam Quốc dân Đảng.Có con trai là Ninh Văn Chiến. Hai trong nhiều những chắt của cụ là Đinh Khánh An, Đinh Thục Anh, hiện đều đang học tại các trường chuyên của Hà Nội, và Đinh Quang Nhật (chắt trai)